home *** CD-ROM | disk | FTP | other *** search
/ Collection of Internet / Collection of Internet.iso / infosrvr / dev / www_talk.930 / 000851_montulli@stat1.cc.ukans.edu _Mon Apr 12 23:48:40 1993.msg < prev    next >
Internet Message Format  |  1994-01-24  |  2KB
  1. Return-Path: <montulli@stat1.cc.ukans.edu>
  2. Received: from dxmint.cern.ch by  nxoc01.cern.ch  (NeXT-1.0 (From Sendmail 5.52)/NeXT-2.0)
  3.     id AA09219; Mon, 12 Apr 93 23:48:40 MET DST
  4. Received: from stat1.cc.ukans.edu by dxmint.cern.ch (5.65/DEC-Ultrix/4.3)
  5.     id AA11859; Tue, 13 Apr 1993 00:08:10 +0200
  6. Received: by stat1.cc.ukans.edu (AIX 3.2/UCB 5.64/4.03)
  7.           id AA40230; Mon, 12 Apr 1993 17:01:09 -0500
  8. From: montulli@stat1.cc.ukans.edu (Lou Montulli)
  9. Message-Id: <9304122201.AA40230@stat1.cc.ukans.edu>
  10. Subject: Traversal program
  11. To: www-talk@nxoc01.cern.ch
  12. Date: Mon, 12 Apr 93 17:01:08 CDT
  13. X-Mailer: ELM [version 2.3 PL2]
  14.  
  15.  
  16. Last week there was quite a bit of talk about traversing the Web
  17. to compile a list of all Web documents.
  18.  
  19. I have tweeked my traversal program a little for WWW documents
  20. and it looks like it will work.
  21.  
  22. The traversal program only attempts to follow http: links and
  23. keeps a list of all links as they are traversed.  
  24.  
  25. The question I have now is:  Should I run it?  I'm not entirely
  26. sure what it will do.  It will certainly put a big load on
  27. the network.  Will it get bogged down in some incredibly dense
  28. subtree?  What day of the week would be the best time to run?
  29.  
  30. Currently the URL, Document Title and the link name that referenced
  31. the document are saved in a Tab delimiter format.  Are there
  32. any tabs in document titles?
  33.  
  34. What does everyone else think?
  35.  
  36. :lou
  37. -- 
  38.   **************************************************************************
  39.   *           T H E   U N I V E R S I T Y   O F   K A N S A S              *
  40.   *         Lou  MONTULLI @ Ukanvax.bitnet                        *
  41.   *                         Kuhub.cc.ukans.edu                              *
  42.   *  Nothing difficult,     Ukanaix.cc.ukans.edu    ACS Computing Services *
  43.   *   is ever easy!             913/864-0436           Lawrence, KS 66044  *
  44.   *                                            *
  45.   *  For how we live is so different from how we ought to live that he who *
  46.   *  studies what ought to be done rather than what is done will learn the *
  47.   *  way to his downfall rather than to his preservation.  -Machiavelli    *
  48.   **************************************************************************
  49.